package com.shujia.flink.core

import java.util.Properties

import com.alibaba.fastjson.{JSON, JSONArray, JSONObject}
import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer

import scala.collection.mutable.ListBuffer

object Demo6FlinkeOnCanal {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment


    val properties = new Properties()
    //kafka集群地址
    properties.setProperty("bootstrap.servers", "master:9092")
    //消费者组，随便写, 一条消息在一个组内只被消费一次
    properties.setProperty("group.id", "asdasdsad")

    //创建kafka消费者
    val consumer = new FlinkKafkaConsumer[String](
      "bigdata.student1",
      new SimpleStringSchema(),
      properties)

    consumer.setStartFromEarliest() // 尽可能从最早的记录开始
    //consumer.setStartFromLatest()       // 从最新的记录开始
    //consumer.setStartFromTimestamp(...)// 从指定的时间开始（毫秒）

    //从上一次消费的位置读取数据，如果是第一次读取，只读最新数据
    //consumer.setStartFromGroupOffsets()// 默认的方法,如果第一次消费也是读取最新的数据


    //使用kafka source
    val canalDS: DataStream[String] = env.addSource(consumer)

    /**
      * 实时统计每个班级的人数
      *
      */

    /**
      * 1、过滤脏数据
      *
      */
    val filterDS: DataStream[String] = canalDS.filter(line => {
      //将json字符串转换成json对象（可以用过key获取value）
      val jsonObj: JSONObject = JSON.parseObject(line)

      //获取类型
      val dataType: String = jsonObj.getString("type")

      "INSERT".equals(dataType) || "DELETE".equals(dataType)
    })


    /**
      * 2、解析数据取出班级和操作类型
      *
      */

    val clazzDS: DataStream[List[(String, String)]] = filterDS.map(line => {

      val kvData = new ListBuffer[(String, String)]

      val jsonObj: JSONObject = JSON.parseObject(line)

      //获取类型
      val dataType: String = jsonObj.getString("type")

      //获取所有数据
      val jsonArr: JSONArray = jsonObj.getJSONArray("data")


      //遍历获取所有数据
      val size: Int = jsonArr.size()

      var i = 0
      while (i < size) {
        val nObject: JSONObject = jsonArr.getJSONObject(i)
        val clazz: String = nObject.getString("clazz")

        kvData.+=((clazz, dataType))

        i += 1
      }

      kvData.toList
    })

    //将数据转换成多行
    val clazzTypeDS: DataStream[(String, String)] = clazzDS.flatMap(list => list)

    /**
      * 如果数据为INSERT 加一
      * 如果为DELETE 减一
      *
      */
    val kvDS: DataStream[(String, Int)] = clazzTypeDS.map(kv => {
      val clazz: String = kv._1
      val dataType: String = kv._2

      if ("INSERT".equals(dataType)) {
        (clazz, 1)
      } else {
        (clazz, -1)
      }
    })

    kvDS.keyBy(_._1)
      .sum(1)
      .print()

    env.execute()

  }

}
